Pandas DataFrame 생성: 데이터 구조 초기화 심층 분석

Python을 사용한 데이터 조작의 세계에 오신 것을 환영합니다! 거의 모든 데이터 분석 작업의 핵심에는 Pandas 라이브러리가 있으며, 그 핵심은 DataFrame입니다. DataFrame을 Python 환경 내에 존재하는 스프레드시트 또는 데이터베이스 테이블의 스마트하고 강력하며 유연한 버전이라고 생각하세요. 이는 데이터를 정리, 변환, 분석 및 시각화하는 주요 도구입니다. 그러나 이러한 데이터 마법을 수행하기 전에 먼저 DataFrame 생성 기술을 마스터해야 합니다. 이 기본 데이터 구조를 초기화하는 방법은 전체 분석의 토대를 마련할 수 있습니다.

이 포괄적인 가이드는 열정적인 데이터 분석가, 과학자 및 엔지니어로 구성된 전 세계 독자를 위해 설계되었습니다. Pandas DataFrame을 처음부터 생성하는 가장 일반적이고 강력한 방법을 살펴볼 것입니다. 데이터가 딕셔너리, 리스트, NumPy 배열 또는 다른 형식에 있든 관계없이 이 기사는 DataFrame을 자신감 있고 효율적으로 초기화할 수 있는 지식과 실제 예제를 제공합니다. 기초를 다져봅시다.

Pandas DataFrame이란 무엇일까요?

구축을 시작하기 전에 구축하려는 대상을 명확히 합시다. Pandas DataFrame은 2차원 크기 변경이 가능한 잠재적으로 이기종 테이블 데이터 구조입니다. 자세히 살펴보겠습니다.

• 2차원: 스프레드시트처럼 행과 열이 있습니다.
• 크기 변경 가능: DataFrame이 생성된 후 행과 열을 추가하거나 제거할 수 있습니다.
• 이기종: 열은 서로 다른 데이터 유형을 가질 수 있습니다. 예를 들어 하나의 열은 숫자(정수 또는 부동 소수점)를 포함하고, 다른 열은 텍스트(문자열)를 포함하고, 세 번째 열은 날짜 또는 부울 값(True/False)을 포함할 수 있습니다.

DataFrame에는 세 가지 주요 구성 요소가 있습니다.

1. 데이터: 행과 열로 구성된 구조 내에 보유된 실제 값입니다.
2. 인덱스: 행 레이블입니다. 인덱스를 제공하지 않으면 Pandas는 0부터 시작하는 기본 인덱스를 생성합니다. 인덱스는 데이터에 액세스하고 정렬하는 강력한 방법을 제공합니다.
3. 열: 열 레이블입니다. 이는 DataFrame 내에서 특정 데이터 계열에 액세스하는 데 중요합니다.

이 구조를 이해하는 것이 DataFrame을 효과적으로 생성하고 조작하는 방법을 이해하는 데 중요합니다.

기본 사항: Pandas 가져오기

가장 먼저 할 일은 Pandas를 사용하려면 라이브러리를 Python 스크립트 또는 노트북으로 가져와야 합니다. 전 세계 전문가가 따르는 보편적으로 인정되는 규칙은 pd 별칭으로 가져오는 것입니다. 이 간단한 별칭은 코드를 더 읽기 쉽고 간결하게 만듭니다.

import pandas as pd
import numpy as np # 종종 Pandas와 함께 사용되므로 함께 가져오겠습니다.

이 한 줄로 Pandas 라이브러리의 모든 기능을 잠금 해제했습니다. 이제 이 가이드의 핵심인 DataFrame 생성으로 넘어가겠습니다.

핵심 생성 방법: 단순에서 복잡으로

pd.DataFrame() 생성자는 매우 다재다능합니다. 다양한 유형의 입력을 수락할 수 있습니다. 이제 가장 일반적인 방법부터 더 전문화된 경우로 이동하여 가장 필수적인 방법을 살펴보겠습니다.

1. 리스트 또는 배열의 딕셔너리에서 DataFrame 생성

이것은 DataFrame을 만드는 가장 일반적이고 직관적인 방법이라고 할 수 있습니다. 키가 열 이름이 되고 값이 각 열의 데이터를 포함하는 리스트(또는 NumPy 배열 또는 Pandas Series)가 되는 Python 딕셔너리로 시작합니다.

작동 방식: Pandas는 각 딕셔너리 키를 열 머리글에 매핑하고 각 값 리스트를 해당 열의 행에 매핑합니다. 여기서 중요한 요구 사항은 모든 리스트의 길이가 같아야 한다는 것입니다. 각 리스트는 데이터의 전체 열을 나타내기 때문입니다.

예:

전 세계 여러 도시에 대한 정보가 포함된 DataFrame을 만들어 보겠습니다.

# 열별로 구성된 데이터 city_data = { 'City': ['Tokyo', 'Delhi', 'Shanghai', 'São Paulo', 'Mumbai'], 'Country': ['Japan', 'India', 'China', 'Brazil', 'India'], 'Population_Millions': [37.3, 32.0, 28.5, 22.4, 20.9], 'Is_Coastal': [True, False, True, False, True] } # DataFrame 생성 df_from_dict = pd.DataFrame(city_data) print(df_from_dict)

출력:

         City Country  Population_Millions  Is_Coastal
0       Tokyo   Japan                 37.3        True
1       Delhi   India                 32.0       False
2    Shanghai   China                 28.5        True
3   São Paulo  Brazil                 22.4       False
4      Mumbai   India                 20.9        True

주요 내용: 이 방법은 데이터가 자연스럽게 기능 또는 범주별로 구성된 경우에 적합합니다. 깔끔하고 읽기 쉬우며 딕셔너리의 구조를 테이블 형식으로 직접 변환합니다.

2. 딕셔너리 리스트에서 DataFrame 생성

대안적이고 똑같이 강력한 방법은 각 요소가 딕셔너리인 리스트를 사용하는 것입니다. 이 구조에서 각 딕셔너리는 단일 행을 나타내고 해당 키는 해당 행 데이터의 열 이름을 나타냅니다.

작동 방식: Pandas는 리스트를 반복합니다. 각 딕셔너리에 대해 새 행을 만듭니다. 딕셔너리 키는 열을 결정하는 데 사용됩니다. 이 방법은 딕셔너리에 키가 없는 경우 Pandas가 해당 행의 셀을 자동으로 NaN(숫자가 아님)으로 채우기 때문에 매우 유연합니다. 이는 Pandas에서 누락된 데이터에 대한 표준 마커입니다.

예:

동일한 도시 데이터를 나타내되, 이번에는 레코드 리스트로 구성해 보겠습니다.

# 행(레코드)별로 구성된 데이터 records_data = [ {'City': 'Tokyo', 'Country': 'Japan', 'Population_Millions': 37.3, 'Is_Coastal': True}, {'City': 'Delhi', 'Country': 'India', 'Population_Millions': 32.0, 'Is_Coastal': False}, {'City': 'Shanghai', 'Country': 'China', 'Population_Millions': 28.5}, {'City': 'São Paulo', 'Country': 'Brazil', 'Population_Millions': 22.4, 'Is_Coastal': False}, {'City': 'Cairo', 'Country': 'Egypt', 'Timezone': 'EET'} # 다른 구조에 주목하세요. ] # DataFrame 생성 df_from_list_of_dicts = pd.DataFrame(records_data) print(df_from_list_of_dicts)

출력:

         City Country  Population_Millions  Is_Coastal Timezone
0       Tokyo   Japan                 37.3        True      NaN
1       Delhi   India                 32.0       False      NaN
2    Shanghai   China                 28.5         NaN      NaN
3   São Paulo  Brazil                 22.4       False      NaN
4       Cairo   Egypt                  NaN         NaN      EET

Pandas가 불일치를 얼마나 우아하게 처리하는지 주목하세요. 상하이에 대한 'Is_Coastal' 값은 딕셔너리에 없기 때문에 NaN입니다. 카이로에 대해 새로운 'Timezone' 열이 생성되었으며, 다른 모든 도시에는 NaN이 있습니다. 따라서 API의 JSON 응답과 같은 반구조화된 데이터로 작업하는 데 탁월한 선택입니다.

주요 내용: 데이터가 일련의 레코드 또는 관찰로 제공될 때 이 방법을 사용하세요. 누락된 데이터 및 레코드 구조의 변형을 처리하는 데 강력합니다.

3. NumPy 배열에서 DataFrame 생성

과학 컴퓨팅, 기계 학습 또는 대규모 숫자 연산과 관련된 분야에서 작업하는 사람들에게 데이터는 종종 NumPy 배열에서 발생합니다. Pandas는 NumPy를 기반으로 구축되어 둘 사이의 통합이 원활하고 매우 효율적입니다.

작동 방식: 2D NumPy 배열을 pd.DataFrame() 생성자에 전달합니다. 기본적으로 Pandas는 정수 기반 인덱스와 열을 만듭니다. 그러나 index 및 columns 매개변수를 사용하여 의미 있는 레이블을 제공할 수 있으며 제공해야 합니다.

예:

시간 경과에 따른 센서 판독값을 나타내는 임의로 생성된 5x4 NumPy 배열에서 DataFrame을 만들어 보겠습니다.

# 임의 데이터로 5x4 NumPy 배열 생성 data_np = np.random.rand(5, 4) # 열 및 인덱스 레이블 정의 columns = ['Sensor_A', 'Sensor_B', 'Sensor_C', 'Sensor_D'] index = pd.to_datetime(['2023-10-27 10:00', '2023-10-27 10:01', '2023-10-27 10:02', '2023-10-27 10:03', '2023-10-27 10:04']) # DataFrame 생성 df_from_numpy = pd.DataFrame(data=data_np, index=index, columns=columns) print(df_from_numpy)

출력(임의 숫자는 다를 수 있음):

                           Sensor_A  Sensor_B  Sensor_C  Sensor_D
2023-10-27 10:00:00  0.123456  0.987654  0.555555  0.111111
2023-10-27 10:01:00  0.234567  0.876543  0.666666  0.222222
2023-10-27 10:02:00  0.345678  0.765432  0.777777  0.333333
2023-10-27 10:03:00  0.456789  0.654321  0.888888  0.444444
2023-10-27 10:04:00  0.567890  0.543210  0.999999  0.555555

이 예에서는 Pandas에서 광범위한 시간 기반 분석 기능을 잠금 해제하는 강력한 기능인 시계열 데이터에 대한 DatetimeIndex 사용도 소개했습니다.

주요 내용: 이는 동종 숫자 데이터에서 DataFrame을 만드는 가장 메모리 효율적인 방법입니다. NumPy, Scikit-learn 또는 TensorFlow와 같은 라이브러리와 인터페이스할 때 표준 선택입니다.

4. 리스트 리스트에서 DataFrame 생성

이 방법은 개념적으로 NumPy 배열에서 생성하는 것과 유사하지만 표준 Python 리스트를 사용합니다. 중첩된 리스트 형식으로 저장된 테이블 데이터를 변환하는 간단한 방법입니다.

작동 방식: 각 내부 리스트가 데이터 행을 나타내는 리스트를 제공합니다. NumPy 배열과 마찬가지로 명확성을 위해 columns 매개변수를 통해 열 이름을 지정하는 것이 좋습니다.

예:

# 행 리스트로 데이터 product_data = [ ['P001', 'Laptop', 1200.00, 'Electronics'], ['P002', 'Mouse', 25.50, 'Electronics'], ['P003', 'Desk Chair', 150.75, 'Furniture'], ['P004', 'Keyboard', 75.00, 'Electronics'] ] # 열 이름 정의 column_names = ['ProductID', 'ProductName', 'Price_USD', 'Category'] # DataFrame 생성 df_from_list_of_lists = pd.DataFrame(product_data, columns=column_names) print(df_from_list_of_lists)

출력:

  ProductID ProductName  Price_USD     Category
0      P001      Laptop    1200.00  Electronics
1      P002       Mouse      25.50  Electronics
2      P003  Desk Chair     150.75    Furniture
3      P004    Keyboard      75.00  Electronics

주요 내용: 데이터가 헤더가 없는 파일 형식에서 읽을 때와 같이 이미 행 리스트로 구성된 경우에 유용하고 효과적인 방법입니다.

고급 초기화: DataFrame 사용자 지정

원시 데이터를 제공하는 것 외에도 pd.DataFrame() 생성자는 생성 시 새 DataFrame의 구조와 속성을 제어하는 여러 매개변수를 제공합니다.

인덱스 지정

이미 index 매개변수가 작동하는 것을 보았습니다. 인덱스는 빠른 조회, 데이터 정렬 등에 사용되는 행 레이블을 제공하는 DataFrame의 중요한 부분입니다. Pandas는 기본 숫자 인덱스(0, 1, 2, ...)를 제공하지만 의미 있는 인덱스를 설정하면 데이터를 훨씬 쉽게 사용할 수 있습니다.

예: 리스트 예제 딕셔너리를 다시 사용하되, 생성 시 'City' 열을 인덱스로 설정해 보겠습니다.

city_data = { 'Country': ['Japan', 'India', 'China', 'Brazil', 'India'], 'Population_Millions': [37.3, 32.0, 28.5, 22.4, 20.9], 'Is_Coastal': [True, False, True, False, True] } city_names = ['Tokyo', 'Delhi', 'Shanghai', 'São Paulo', 'Mumbai'] # 사용자 지정 인덱스로 DataFrame 생성 df_with_index = pd.DataFrame(city_data, index=city_names) print(df_with_index)

출력:

          Country  Population_Millions  Is_Coastal
Tokyo       Japan                 37.3        True
Delhi       India                 32.0       False
Shanghai    China                 28.5        True
São Paulo  Brazil                 22.4       False
Mumbai      India                 20.9        True

이제 df_with_index.loc['Tokyo']와 같이 이러한 의미 있는 레이블을 사용하여 행 데이터에 액세스할 수 있습니다.

데이터 유형 제어(dtype)

Pandas는 데이터 유형(예: 숫자, 텍스트 및 부울 인식)을 추론하는 데 능숙합니다. 그러나 메모리 효율성을 보장하거나 특정 작업을 활성화하기 위해 열에 대해 특정 데이터 유형을 적용해야 하는 경우가 있습니다. dtype 매개변수는 이러한 제어 기능을 제공합니다.

예: 숫자처럼 보이지만 텍스트(문자열)로 처리해야 하는 제품 ID가 있다고 가정해 보겠습니다.

data = { 'ProductID': [101, 102, 103], 'Stock': [50, 75, 0] } # 'ProductID'에 대한 dtype을 지정하면서 DataFrame 생성 df_types = pd.DataFrame(data, dtype={'ProductID': str, 'Stock': 'int32'}) print(df_types.dtypes)

출력:

ProductID    object
Stock         int32
dtype: object

Pandas에서 str은 object로 표시됩니다. dtype을 명시적으로 설정하면 Pandas가 ProductID를 숫자로 처리하는 것을 방지할 수 있습니다. 그러면 나중에 잘못된 계산 또는 정렬 문제가 발생할 수 있습니다. 기본 int64 대신 int32와 같은 더 구체적인 정수 유형을 사용하면 대규모 데이터 세트에서 상당한 메모리를 절약할 수도 있습니다.

실제 시나리오 및 모범 사례

올바른 생성 방법 선택은 데이터의 원래 형식에 따라 다릅니다. 다음은 간단한 의사 결정 가이드입니다.

• 데이터가 열에 있습니까(예: 기능당 하나의 리스트)? 리스트 딕셔너리를 사용하세요. 자연스러운 적합성입니다.
• 데이터가 일련의 레코드입니까(예: JSON API에서)? 딕셔너리 리스트를 사용하세요. 레코드에서 누락되거나 추가된 필드를 처리하는 데 탁월합니다.
• 데이터가 숫자이고 그리드에 있습니까(예: 과학 계산에서)? NumPy 배열을 사용하세요. 이 사용 사례에 가장 적합한 옵션입니다.
• 데이터가 헤더 없이 간단한 행별 테이블 형식으로 되어 있습니까? 리스트 리스트를 사용하고 열 이름을 별도로 제공하세요.

피해야 할 일반적인 함정

1. 리스트 딕셔너리의 길이가 같지 않음: 이는 일반적인 오류입니다. 리스트 딕셔너리에서 DataFrame을 만들 때 모든 리스트의 요소 수가 정확히 같아야 합니다. 그렇지 않으면 Pandas에서 ValueError를 발생시킵니다. 항상 열 데이터의 길이가 같은지 확인한 후 생성하세요.
2. 인덱스 무시: 기본 0 기반 인덱스에 의존하는 것은 많은 경우에 적합하지만 데이터에 자연 식별자(예: 제품 ID, 사용자 ID 또는 특정 타임스탬프)가 있는 경우 처음부터 인덱스로 설정하면 나중에 코드를 단순화할 수 있습니다.
3. 데이터 유형 잊기: Pandas가 유형을 추론하도록 하는 것은 대부분의 경우에 작동하지만 대규모 데이터 세트 또는 혼합 유형이 있는 열의 경우 성능이 저하될 수 있습니다. 메모리를 절약하고 오류를 방지하기 위해 범주, 문자열 또는 특정 숫자 유형으로 처리해야 하는 열에 대해 dtype을 사전에 설정하세요.

초기화 외: 파일에서 DataFrame 생성

이 가이드에서는 메모리 내 Python 개체에서 DataFrame을 만드는 데 중점을 두고 있지만 대부분의 실제 시나리오에서 데이터가 외부 파일에서 제공된다는 점을 알아야 합니다. Pandas는 다음과 같은 목적을 위해 매우 최적화된 판독기 함수 모음을 제공합니다.

• pd.read_csv(): 쉼표로 구분된 값 파일에 대한 데이터 가져오기의 핵심입니다.
• pd.read_excel(): Microsoft Excel 스프레드시트에서 데이터를 읽기 위한 것입니다.
• pd.read_json(): JSON 파일 또는 문자열에서 데이터를 읽기 위한 것입니다.
• pd.read_sql(): 데이터베이스 쿼리 결과를 DataFrame에 직접 읽기 위한 것입니다.
• pd.read_parquet(): 효율적인 열 중심 Parquet 파일 형식에서 읽기 위한 것입니다.

이러한 함수는 Pandas 여정의 다음 논리적 단계입니다. 이를 마스터하면 사실상 모든 소스에서 강력한 DataFrame 구조로 데이터를 수집할 수 있습니다.

결론: 데이터 마스터를 위한 토대

Pandas DataFrame은 Python에서 모든 중요한 데이터 작업에 대한 중심 데이터 구조입니다. 살펴본 바와 같이 Pandas는 다양한 형식에서 이러한 구조를 초기화하기 위한 유연하고 직관적인 도구 세트를 제공합니다. 딕셔너리, 리스트 및 NumPy 배열에서 DataFrame을 만드는 방법을 이해함으로써 데이터 분석 프로젝트를 위한 견고한 토대를 구축했습니다.

핵심은 데이터의 원래 구조와 가장 일치하는 방법을 선택하는 것입니다. 이렇게 하면 코드가 더 깔끔하고 읽기 쉬울 뿐만 아니라 더 효율적입니다. 여기에서 데이터 정리, 탐색, 변환 및 시각화라는 흥미로운 작업으로 넘어갈 준비가 되었습니다. 즐거운 코딩하세요!